Trong suốt thời gian giữ chức vụ Tổng Tham mưu trưởng, ông được đánh giá là một tướng lĩnh có tài và không liên quan đến các hoạt động chính trị. Tuy nhiên, ông cũng bị đánh giá là một người an phận và không muốn tạo trách nhiệm.

Hồi ký "Việt Nam Nhân Chứng" của tướng Trần Văn Đôn viết:
"Có lần ông Thiệu than phiền ông Cao Văn Viên không làm việc nhiều. Ông Thiệu nhờ tôi nói với Đại tướng Viên, Tổng Tham mưu trưởng, về việc ông này cứ ở mãi Tổng Tham mưu làm việc, không chịu đi ra ngoài, ông Viên trả lời: Tôi đã xin từ chức mấy lần mà ông Thiệu không chấp nhận nên tôi cứ ở văn phòng làm việc mà thôi!"

Trong hồi ký "Đôi dòng ghi nhớ" của cựu Đại tá Phạm Bá Hoa[13] nguyên Chánh Văn phòng Tổng Tham mưu trưởng, cũng nhận xét là trong gần 9 năm rưỡi giữ chức Tổng Tham mưu trưởng, ông không thực sự làm hết trách nhiệm, đến văn phòng cho có lệ, ít ra chiến trường, đặc biệt là vào những năm 1973-1975, ông chỉ còn chú trọng nhiều đến việc tập luyện Yoga và thậm chí, ghi danh vào Đại học để lấy bằng Cử nhân Văn chương Pháp tại Đại học Văn khoa Sài Gòn ngoài giờ làm việc.

Lý giải sự việc này, theo cuộc phỏng vấn của Lý Thanh Tâm tháng 12 năm 2004, ông cho rằng do Tổng thống Thiệu, với tư cách Tổng Tư lệnh Quân đội, đã tập trung hết quyền binh trong tay, đã cho đặt một hệ thống máy truyền tin tại dinh Độc Lập để liên lạc thẳng với các Quân khu, điều động các đơn vị, bổ nhiệm Tư lệnh vùng và ra lệnh trực tiếp hành quân. Bộ Tổng Tham mưu chỉ còn giữ vai trò tuân hành và thị chứng. Do đó, ông đã nhiều lần xin từ chức nhưng không được chấp thuận. Vì vậy ông chỉ có thể phản ứng bằng cách tiêu cực như trên.